Hoàng tử Vĩnh Chương được sinh ra vào ngày 25 tháng 5 (âm lịch) năm Ung Chính thứ 13 (1735), lúc đó Càn Long Đế vẫn còn là Bảo Thân vương. Sinh mẫu của ông là Thuần Huệ Hoàng quý phi Tô thị, khi đó có thân phận là Cách cách trong phủ. Ông là anh ruột của Chất Trang Thân vương Vĩnh Dung và Hòa Thạc Hòa Gia công chúa.

Năm Càn Long thứ 13 (1748), Hiếu Hiền Thuần Hoàng hậu vì bạo bệnh mà băng thệ. Càn Long Đế đau lòng cho Hoàng hậu, đã trịnh trọng tổ chức một đại tang chưa từng có trong lịch sử Đại Thanh. Vào lúc diễn ra đại tang, Hoàng trưởng tử Vĩnh Hoàng cùng Hoàng tam tử Vĩnh Chương lại có biểu hiện thiếu thương cảm, bị Càn Long Đế chỉ trích là “Không hiểu lễ tiết”. Có lời đồn rằng, sau khi các Hoàng tử Vĩnh Liễn cùng Vĩnh Tông đều qua đời, Càn Long Đế đã từng muốn xem xét Vĩnh Chương, điều này biểu hiện qua đạo chỉ dụ trách mắng năm ấy: 「"Lại nói đến Tam a ca. Khi trước Trẫm đã từng trong vọng, hạ chỉ với đám người Nột Thân. Nay xem ra Tam a ca cũng không đủ tỏa đáng, đã 14 tuổi, mà vô tri vô thức như vậy!"; 至三阿哥，朕先以為尚有可望，亦曾降旨於訥親等。今看三阿哥，亦不滿人意，年已十四歲，全無知識。」.

Năm Càn Long thứ 24 (1759), ngày 16 tháng 8 (âm lịch), mẹ đẻ của Vĩnh Chương là Thuần Quý phi Tô thị khi đi Tị Thử Sơn Trang lâm bệnh, Vĩnh Chương phụng mệnh đưa về Bắc Kinh. Sau đó, Càn Long Đế từa hầu Sùng Khánh Hoàng thái hậu tiếp tục khởi giá đến Mộc Lan Vi Trường.